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Finkele 



Verfahren zur Korrespondenzanalyse in Bilddatensatzen 

Die Erfindung betrif ft ein Verfahren zur Korrespondenzanalyse 
in Bilddatensatzen und eine zur Durchfuhrung des Verfahrens 
5 geeignete Vorrichtung nach den Oberbegrif f en der Patentan- 
spruche 1 und 11. 

Bei der Verarbeitung von Bilddaten bewegter Szenarien, insbe- 
sondere um darin befindliche Objekte zu erkennen und zu ver- 
10 folgen (Tracking) ist es notwendig, in den einzelnen zeitlich 
auf einanderf olgenden Bilddatensatze miteinander korrespondie- 
rende Bildpunkte bzw. Bildbereiche zu identif izieren. 

Es ist jedoch insbesondere bei monokularen Kamerasystemen 
15 schwer Objekte in von der Umgebung gewonnen Bilddaten zu er- 
kennen und deren Bewegungsparameter zu vermessen. Eine Mog- 
lichkeit bietet sich jedoch durch die Analyse des Optischen 
Flusses von Objekten innerhalb der .Bilddaten. Der Optische 
Fluss beschreibt die Verschiebung der zu einem Zeitpunkt i 
20 aufgenommenen Bildpunkte eines Objektes in Bezug zu den zum 
Zeitpunkt j aufgenommenen Bildpunlcten.. Das Problem welches., 
sich hierbei stellt, besteht darin, festzulegen, welche der 
Bildpunkte zum Zeitpunkt i, mit welchen Bildpunkten des Kame- 
rabildes zum Zeitpunkt j korrespondieren, also zum selben Ob- 
25 jekt gehoren. Im Zusammenhang mit diesem zu losenden Korres- 
pondenzproblem werden Hypothesen dahingehend aufgestellt, 
welche Paare von Bildpunkten (Bildpixel) aus den Bild zum 
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Zeitpunkt i und aus dem Bild zum Zeitpunkt j zusammengehoren. 
Diese Hypothesen werden sodann zu weiteren Verarbeitung, wie 
der geometrischen Obj ektbildung und Obj ektverf olgung, in ei- 
ner Hypothesen Liste abgelegt . 

In den vergangen Jahren wurden eine Vielzahl von unterschied- 
lichen Algorithmen zum Optischen Fluss entwickelt, deren be- 
kannteste Vertreter in einem Ubersichtsartikel von Barron et . 
all () gegenubergestellt wurden. Barron unterscheidet 

- Dif ferentielle Techniken, bei welchen der Optische Fluss 
auf Grundlage von ortlich und zeitlich begrenzten Intensi- 
tatsveranderungen („ spatio-temporal- derivatives of image in- 
tensities") der Bildpunkte berechnet wird, 

- Matching-Techniken, bei welchen die Lageanderung von zu- 
meist mehrere Bildpunkte umfassenden Objekten im Bild beo- 
bachtet wird und in definierten Zeitabstanden anhand der La- 
geverschiebung dieser Objekte deren Geschwindigkeit und somit 
der Optische Fluss bestimmt wird, 

- Energie-basierte Techniken, bei welchen die Berechnung des 
Optischen Flusses auf der Ausgangsenergie von geschwindig- 
keits-optimierten Filtern basiert. Derartige Techniken werden 
auch als f requenz-basierte Techniken bezeichnet, da die 
geschwindigkeits-angepassten Filter im Frequenzbereich (Fou- 
rier Domain) definiert sind, 

- Phasen-basierte Techniken, welche auf dem Grundsatz basie- 
ren, dass sich Geschwindigkeit in Bilddaten in dem Phasen- 
verhalten'der Ausgangs'signale von Bandpassf iltern wieder- 
spiegelt . 

Die bekannten Methoden beruhen in der Regel beruhen auf re- 
chenintensiven Korrelationsansatzen und sind im allgemeinen 
nur in Lage kleine Verschiebungen von Objekten (geringer op- 
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tischer Fluss) von einer Bildauf nahme zur nachsten zu messen. 
Insbesondere bei der Verweridung derartiger Algorithmik bei 
der Bilderkennurig in Kraf tf ahrzeugen stellt sich das Problem, 
dass die dort verwandten Steuergerate nur begrenzte Rechen- 
ressourcen aufweisen und insbesondere bei starken Lenkbewe- 
gungen oder hohen Fahrgeschwindigkeiten grofie Optische Flusse 
in den Bilddaten auftreten. 

Neben der Verwendung der Korrespondenzanalyse bei der Bestim- 
mung des Optischen Flusses von Objekten aus zeitlich aufein- 
ander folgenden Bilddatensatzen, ist es auch bei der Stereo- 
bildverarbeitung notwendig in zwei im wesentlichen zum selben 
Zeitpunkt aus unterschiedlichen Blickwinkeln auf genommenen 
Bildern diejenigen Datenbereiche zu identif izieren, welche 
miteinander korrespondieren. Die als korrespondierend identi- 
fizierten Bereiche werden sodann einem Objekt zugeordnet, so 
dass aus den bekannten geometrischen Verhaltnissen der Kame- 
rapositionen und -blickrichtungen auf die Entfernung und Po- 
sition dieses Objektes geschlossen werden kann. Da das Funk- 
tionsprinzip der Stereobildverarbeitung eben gerade darauf 
basiert, dass sich ein und dasselbe Objekt in den im wesent- 
. lich zeitgleich auf genommenen Bilddaten an unterschiedlicher 
Stelle abbildet, bildet die Korrespondenzanalyse den rechen- 
intensivsten Teil der Bildauswertung und ist der Leistungsbe- 
schrankende Faktor, insbesondere bei Anwendungen bei welchen 
nur eine begrenzte Menge an Rechenressource zur Verfxigung ge- 
stellt werden kann. 

Aufgabe der Erf indung ist es somit ein Verfahren zur Korres- 
pondenzanalyse in Bilddatensatzen und ein zur Durchfuhrung 
dieses Verfahrens geeignete Vorrichtung zu finden, welche Re- 
chenzeit effizient arbeitet und auch. in der Lage ist, groSe 
Optische Flusse zu verarbeiten. 
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Die Aufgabe wird durch ein Verfahren und eine Vorrichtung zur 
Korrespondenzanalyse in Bilddatensatzen mit den Merkmalen der 
Patentanspriiche 1 und 11 gelost . Vorteilhafte Ausgestaltungen 
und Weiterbildungen der Erf indung werden in den Unteranspru- 
5 chen beschrieben. 

Bei dem neuartigen Verfahren zur Korrespondenzanalyse in 
Bilddatensatzen werden einzelne Bildpunkte innerhalb von zwei 
Bilddatensatzen i (20) und j (21) verglichen, um miteinander 
10 korrespondierende Bildpunkte (Pixel) u^v-j_ und ujVj zu identi- 
fizieren. Hierzu wird in erf inderischer Weise in einem ersten 
Schritt der Bilddatensat z i (20) mit einem Signaturoperator 
derart transf ormiert , dass fur jedes Pixel uj_vj_ ein Signatur- 
string (27) berechnet und in einer Signaturtabelle (22) ge- 
15 meinsam mit den Pixelkoordinaten abgelegt wird. In besonderer 
Weise wird sodann in einem nachsten Schritt jedes Pixel UjVj 
des andere Bilddatensatzes j (21) mittels desselben Signatur- 
operators transf ormiert , worauf die resultierenden Signatur- 
strings (27) gemeinsam mit den jeweiligen Pixelkoordinaten in 
2 0 einer weiteren dem Bilddatensat z j (21) zugeordneten Signa- 
turtabelle (23) abgelegt werden. Nachfolgend werden sodann 
die-Eintrage der beiden Signaturtabellen (22 , 23) dahingehend 
untersucht, ob Signaturstrings (27) vorliegen, welche in bei- 
den Tabellen aufzufinden sind, worauf in diesen Fallen fur 
25 die diesen Signaturstrings (27) zugeordneten Koordinaten eine 
Korrespondenzhypothese (25) generiert und in einer Hypothe- 
senliste (26) zur Weiterverarbeitung gespeichert wird. In 
einfachster Weise kann die Korrespondenzhypothese dergestalt 
definiert sein, dass dann wenn in beiden Signaturtabellen 
30 (22, 23) liber e ins timmende Signaturstrings (27) aufgefunden 

wurden, davon ausgegangen wird, dass die jeweiligen Bildpunk- 
te des Bildpunktpaares Abbilder des selben Objektes bzw. Tei- 
len davon entsprechen. Es ist fur das erf inderische Verfahren 
unerheblich, ob im Rahmen der erf indungsgemafien Ausgestaltung 
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der Vorrichtung zur Korrespondenzanalyse die Speichereinheit 
zur Speicherung der den Bilddatensatzen i und j zugeordnete 
Signaturtabellen (22, 23) physikalisch oder virtuell in zwei 
Speicherbereiche gegliedert ist. Auf jeden Fall ist in eirier 
solchen Vorrichtung dieser Speichereinheit eine Einheit zur 
Generierung von den Signaturstrings zugeordneten Korrespon- 
denzhypothesen nachgeschaltet sein, welche mit einem Speicher 
zur Speicherung dieser Korrespondenzhypothesen (25) in Form 
einer Hypothesenliste (26) versehen ist. 

Durch die Erfindung wird in vorteilhaf ter Weise eine in Bezug 
auf die Rechenzeit sehr effiziente Korrespondenzanalyse er- 
moglicht, welche auch in der Lage ist Bildpaare auch dann 
noch schnell zu verarbeiten, wenn sich einzelne Objekte in 
den beiden Bilddatensatzen an stark unterschiedlichen Stellen 
abbilden. 

Nachfolgend soil anhand von Ausf uhrungsbeispielen und mit 
Hilfe von Figuren die Erfindung und deren vorteilhaf ten Aus- 
gestaltungen naher erlautert werden. 

Fig, 1 erlautert die Census -Transformation und die hieraus 

resultierenden Signaturstrings 

Fig. 2 beschreibt schematisch den Ablauf der Korrespondenz- 
analyse . 

. Ja .besonders .vorteilhaf ter Weise wird der Signaturoperator 
zur Transformation der einzelnen Bildpunkte als Census - 
Operator ausgestaltet , welcher einer nichtlinearen Transfor- 
mation der einen Bildpunkt umgebenden Bilddaten entspricht. 
Anhand der Figur 1 sie beispielhaft die Funktionalitat der 
Census -Transformation erlautert. Hierzu ist in Figur la) ein 
3x3 Bildpunkte (Pixel) umfassender Ausschnitt aus einem Grau- 
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wertbild schematisch dargestellt. Jeder der 9 Bildpunkte be- 
inhaltet einen bestimmten Grauwert # welcher hier als Wert an 
der entsprechenden Stelle des Bildpunktes angegeben ist; bei 
einem Grauwertebereich von 0-255 entspricht ein Wert von 157 
einem recht hellen Pixel, wahrend mit einem Grauwert von 18 
ein sehr dunkles, annahernd Schwarzes Pixel beschrieben wird. 
Soil nun in Bezug auf den mittleren Bildpunkt eine Census- 
Transformation (hier: Grauwert 64) erfolgen, so wird dessen 
Grauwert mit den Grauwerten der benachbarten Bildpunkte ver- 
glichen. Hierbei wird die Differenz der Grauwerte gebildet 
und mit Schwellwerten verglichen, wobei die jeweiligen be- 
nachbarten Bildpunkt auf Grundlage dieses Vergleichs mit ei- 
nem speziellen Wert belegt werden : 

-> 0 , wenn der Grauwert des benachbarten Pixels kleiner als 
der des zu transf ormierenden Pixels ist, 

-> 1, wenn der Grauwert des benachbarten Pixels urn weniger 
als einen bestimmten Wert (im allgemeinen urn weniger 
als 16) vom zu transf ormierenden Pixel abweicht. 

2, wenn der Grauwert des benachbarten Pixels groSer als 
der des zu transf ormierenden Pixels ist. 

Bei dem vorliegenden Beispiel ergibt sich im Rahmen der 
Transformation des zentralen Bildpunktes mit dem Grauwert 64 
die in Figur lb aufgezeigte Zuweisung von Wert en zu den be- 
nachbarten Bildpunkten. Ausgehend von diesen Werten kann so- 
dann auf einf ache Weise ein den zentralen Bildpunkt beschrei 
bender Signaturstring (27) generiert werden, indem beispiels 
weise die Werte reihum im Uhrzeigersinn ausgehend von oben, 
links aneinander gereiht werden; hier ergabe sich somit ein 
Signaturstring (27) mit dem Wert ,,21002222". Selbstverstand- 
lich ist es auch moglich diesen Signaturstring nochmals zu 
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transf ormieren urn, ihn an eine bestimmte Algorithmik oder 
Speicherhardware besser anzupassen. So konnte in diesem Fall 
der Signaturstring (27) beispielsweise von dem 3-er- 
Zahlensystem in ein 10-er-Zahlensystem transf ormiert werden 
5 (hier: „5183 w ) . 

Selbstverstandlich ist es denkbar den Vergleich des zu trans - 
f ormierenden Bildpunktes mit dessen Nachbarn auf Basis einer 
Anzahl andersgestuf ter Schwellwerten durchzuf iihren oder auch 
0 die Nachbarschaf t anders zu definieren. So ware es in gewinn- 
bringender Weise auch moglich nicht die direkt benachbarten 
Bildpunkte sondern erst die ubernachsten 15 Bildpunkte (Nach- 
barschaf tsabstand 2) zur Transformation heranzuziehen. Hier- 
durch wiirde zwar ein langerer Signaturstring entstehen, die 
15 Grauwerte der miteinander verglichenen Bildpunkte waren je- 

doch wesentlich unkorrelierter . Auch besteht die Moglichkeit, 
dass benachbarte Bildpunkte nur teilweise herangezogen wer- 
den, wobei beispielsweise sternformig nur jeder 2. Nachbar- 
wert zur Transformation herangezogen wird. 

20 

In besonders effizienter Weise lassen sich die Signaturtabel- 
len (22,23) erstellen und verarbeiten, wenn sie in Form einer 
Hash-Tabelle organisiert werden. Eine Hash-Tabelle ermoglicht 
es den einzelnen Tabelleneintrag direkt ausgehend von einem 
25 bestimmten dort einzutragenden Wert (hier: Signaturstring 

(27)) zu adressieren; d.h. jedem Signaturstring (27) ist ein 
spezifischer Tabellen bzw. Speicherplatz zugeordnet . Die Lan- 
ge der Tabelle kann jedoch unabhangig von der Anzahl unter- 
schiedlicher Signaturstrings (27) dahingehend begrenzt wer- 
3 0 den, dass in einen einzelnen Tabellenplatz innerhalb der 

Hash-Tabelle mehrere Eintrage miteinander verzeigert einge- 
tragen werden. Die einzelnen Eintrage werden hierbei mittels 
einer Rechenregel den vorhandenen Tabellenplatzen zugeordnet 
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und mit einer Verzeigerung mit den bereits dort vorhandenen 
Eintragen verbunden. Diese Abwandlung bietet den Vorteil, 
dass bei einer groSen Anzahl unterschiedlicher Signatur- 
strings (27) nur ein begrenzter Speicherbereich vorreserviert 
werden muss . 

Um den fur die erf indungsgemaSe Korrespondenzanalyse notwen- 
digen Speicherplatz weiter zu optimieren kann in vorteilhaf- 
ter Weise vor dem Ablegen eines Signatur strings (27) mit des- 
sen zugeordneten Pixelkoordinaten in einer Signaturtabelle 
(22, 23) , diese dahingehend untersucht wird, ob bereits ein 
dem Signaturstring entsprechender Signaturstring (27) in der 
Tabelle abgelegt ist. 1st dies der Fall, so wird infolge der 
neuerliche Signaturstring nicht abgelegt . Es werden stattdes- 
sen nur die diesem Signaturstring zugeordneten Pixelkoordina- 
ten als zusatzliche Pixelkoordinaten zu dem bereits vorhanden 
Tabelleneintrag des gleichen Signaturstrings hinzugef iigt . 

In besonders gewinnbringender Weise lasst sich die Korrespon- 
denzanalyse dadurch effizienter gestalten, dass dem Verfahren 
vor der dem Eintrag der Signaturstrings (27) in die Signatur- 
tabellen (22, 23) beziehungsweise vor der Generierung der 
Korrespondenzhypothesen (25) Filter eingebaut werden, welche 
nur sinnvolle Signaturstrings eintragen bzw. nur plausible 
Korrespondenzhypothesen zulassen . 

In diesem Sinne kann in besonderer Weise ein statischer, ap- 
plikations-spezif ischer Filter geschaffen werden, indem im 
Rahmen der Korrespondenzanalyse vor dem Eintrag eines Signa- 
turstrings (27) in die Signaturtabellen (22, 23) auf einen 
Speicher zugegriffen wird, in welchem Signaturstrings abge- 
legt sind, bei deren Auftreten davon ausgegangen werden kann, 
dass das einem solchen Signaturstring (27) zugeordnete Pixel 
bei der Korrespondenzanalyse nicht beachtet werden braucht . 
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Hierbei kann es sich beispielsweise um fur Himmel- oder Stra- 
Senbereiche typische Signaturstrings handeln, welche in den 
meisten Anwendungen nicht weiter ausgewertet werden brauchen . 
Auch ist es sehr wohl denkbar anwendungsspezif isch typische 
5 Signaturstrings nicht weiter auswertbarer geometrischer Ob- 
jekte oder Ob j ekt fragment e in dem Speicher fur nicht zu be- 
achtende Signaturstrings abzulegen. Hierbei konnte es sich 
beispielsweise um einen Signatur string handeln, welcher einem 
Kantenf ragment ohne eine Eck- oder Abschlussinf ormation ent- 
10 spricht. Solche Kantenf ragment e konnen anderen Kantenf ragmen- 
ten in nachf olgenden Bildern nicht eindeutig zugeordnet wer- 
f den (jedes Kantenf ragment mit gleicher Signatur in einem kor- 
respondierenden Bild konnte ein Abbild dieses einen Kanten- 
f ragmentes sein) , so dass keine sinnvolle Korrespondenzanaly- 
15 se fur diese Bilddatenausschnitte durchgefiihrt werden kann. 
Es wird deshalb in vorteilhaf ter Weise vor dem Ablegen eines 
Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten 
in einer Signaturtabelle (22,23), dieser dahingehend iiber- 
pruft, ob er mit einem in diesem Speicher abgelegten Signa- 
2 0 turstring ubereinstimmt . Ist dies der Fall, so wird der Sig- 
naturstring (2 7) und seine zugehorigen Pixelkoordinaten nicht 
in der Signaturtabelle (22, 23) abgelegt. 

Es ist weiterhin ein dynamisch wirkender Filter denkbar, wel- 

* * 

25 cher die Effizienz der Korrespondenzanalyse im Hinblich auf 

die Generierung der .Korresporidenzhypothesen (2 5) weiter stei- 

* 

gert. Hierzu werden voir der Generierung der Korrespondenz- 
. . .hypothesen die. Eint rage der Signaturstrings. (27) in den- Sig- 
naturtabellen (22, 23) daraufhin uberpruft, ob ein Signatur- 
30 string in einer der Signaturtabellen (22, 23) haufig vor- 

kommt. In diese Fall wird der betreffende Signaturstring (27) 
nicht zur Generierung einer Korrespondenzhypothese herangezo- 
gen wird. Auf diese Weise wird vermieden, dass eine Unzahl 
gleichartiger Korrespondenzhypothesen (25) generiert wird. 



P803913/DE/1 



10 



Welche Anzahl gleichartiger Signaturst rings (27) als haufig 
zu bezeichnen ist, ist insbesondere von der Art des Signatur- 
operators abhangig. Wird als Signaturoperator der Census- 
Operator verwendet, so hat sich bei einem Operator, welcher 
5 nur die nachsten Nachbarn betrachtet ein Schwellwert fur die 
Haufigkeit von 10 bewahrt, wahrend es sich bei einer Nachbar- 
schaf tsbetrachtung mit den ubernachsten Nachbarn ein Schluss 
auf haufiges Auftreten bei Uberschreiten eines Hauf igkeits- 
schwellwertes von 3 anbietet. 

10 

Ein weiterer dynamischer Filter im Hinblick auf die Generie- 
rung der Korrespondenzhypothesen (25) kann dadurch geschaffen 
werden, dass vor der Generierung der Korrespondenzhypothese 
aus in beiden Signaturtabellen (22, 23) ubereinstimmend vor- 
15 kommenden Signaturstrings , zusatzliche die diesen Signatur- 

strings zugehdrigen Bilddaten und/oder die Bildauf nahmesitua- 
tion betreffenden Parameter beachtet werden. Als Ergebnis 
dieser Betrachtung wird nur dann, wenn diese zusatzlich zu 
beachtenden Parameter nicht liber ein bestimmtes MaS voneinan- 
20 der abweichen, .eine Korrespondenzhypothese generiert. 

Hierbei konnte in besondere Weise einer der zusatzlich zu be- 
achtenden Parameter die Helligkeit des einzelnen transfor- 
mierten Bildpunktes beschreiben. Meist wertet der Signatur- 

25 operator, so auch der Census -Operator , nur die relativen Hel- 
ligkeitsunterschiede des zu trans formierenden Bildpunktes zu 
den diesem benachbarten Bildpunkten aus. Der absolute Hellig- 
keit swert des Bildpunktes geht hierbei im Rahmen der Trans- 
formation verloren, so dass es denkbar ist, dass zwei in ih- 

30 rer Grundhelligkeit deutlich unterschiedlichen Bildbereich 

denselben Signaturstring (27) aufweisen. Es ist jedoch in der 
Regel davon auszugehen, dass in diesem Fall diese beiden 
Bildbereiche in den beiden zur Korrespondenzanalyse herange- 
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zogenen Bilddatensatzen nicht tatsachlich miteinander korres- 
pondieren, so dass eine auf diese beiden Bildpunkte basieren- 
de Korrespondenzhypo these (25) nicht sinnvoll und plausibel 
erscheint. Insbesondere aus den Gesichtspunkten der Effekti- 
vitat der Korrespondenzanalyse sollte deshalb auf die Erzeu- 
gung einer einsprechenden Korrespondenzhypo these verzichtet 
werden . 

In besonderer Weise konnte als zu beachtender Parameter auch 
die den Signaturstrings (2 7) zugeordneten Pixelkoordinaten 
herangezogen werden. Hierbei ware von besonderem Interesse zu 
wissen, ob sich die betreffenden Bildpunkte im Zentrum oder 
im Randbereich des durch die Bilddaten i (2 0) oder j (21) be- 
schriebenen Bildes befinden. Dies deshalb, da sich auf Grund 
der bekannten Bildauf nahme- und Abbildungsgeometrien diejeni- 
gen Objekte, welche sich im Randbereich der Bilddatensatze 
(20, 21) befinden bei identischer relativer Geschwindigkeit 
in Bezug auf die Bildauf nahmeeinrichtung im gleichen Zeitraum 
urn einen groSeren Bereich bewegen, als dies fur Objekte, wel- 
che sich weiter im Zentrum der Bilddatensatze abbilden, der 
. Fall- ist. Dies bedeutet, dass die den Signaturstrings von 
Bildpunkten im Randbereich der Bilddatensatze bei aufeinan- 
derfolgenden Bildern grofiere Abweichungen in ihren jeweiligen 
Pixelkoordinaten aufweisen durfen, als dies fur die Pixelko- 
ordinaten von Signaturstrings, welche Bildzentrumsnahen Bild- 
punkten zuzuordnen sind, in Bezug auf eine plausible Korres- 
pondenzhypothese toleriert werden konnte. 

Selbstverstandlich ist die erf indungsgemaSe Korrespondenzana- 
lyse nicht auf die Analyse von Kamerabilddaten (parallel auf- 
genommene Stereobilddaten oder sequentielle Bildinf ormation 
im Rahmen einer Obj ektverf olgung) beschrankt, sondern lafit 
sich in einer fur den Fachmann naheliegender Weise auch auf 
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andere abbildenden Sensorsysteme ubertragen; beispielsweise 
Radar- oder Lidar-Systeme oder kombinierte Systeme zur Sen- 
sorfusion von Radar und Kamera . Auch kann das Verfahren 
selbstverstandlich durch geeignete naheliegende Adaption zur 
Korrespondenzanalyse von Kamerabilddaten genutzt werden, wel- 
che mit in unterschiedlichen Wellenlangenbereichen arbeiten- 
den Kamerasystemen erzeugt wurden . 
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DaimlerChrysler AG 



Finkele 



Patentanspriiche 



5 1. Verfahren' zur Korrespondenzanalyse in Bilddatensatzen urn 
innerhalb von zwei Bilddatensatzen i (20) und j (21) mit- 
einander korrespondierende Bildpunkte (Pixel) u-^v-l und 
UjVj zu identif izieren, 

wobei in einem ersten Schritt der Bilddatensatz i mit ei- 
10 nem Signaturoperator derart transf ormiert wird, dass fur 

jedes Pixel u^v^ ein Signaturstring (27) berechnet und in 
einer Signaturtabelle (22) gemeinsam mit den Pixelkoordi- 
naten abgelegt wird, 

wobei in einem nachsten Schritt jedes Pixel UjVj des an- 
15 deren Bilddatensatzes j mittels desselben Signaturopera- 

tors transf ormiert wird, worauf die resultierenden Signa- 

* 

t'urstrings gemeinsam mit den jeweiligen Pixelkoordinaten 
in einer weiteren Signaturtabelle (23) abgelegt werden, 

und wobei die Eintrage der beiden Signaturtabellen 
20 (22,23) dahingehend untersucht werden, ob Signaturstrings 

vorliegen, welche in beiden Tabellen aufzufinden sind, 
worauf in diesen Fallen fur die diesen Signaturstrings 
(2 7) zugeordneten Koordinaten eine Korrespondenzhypo the- 
se (25) generiert und in einer Hypothesenliste (26) zur 
25 Weiterverarbeitung gespeichert wird. 



2. Verfahren nach Anspruch 1, 
dadurch gekennzeichnet , 
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dass der Signaturoperator als Census -Operator ausgestal- 
tet ist, welcher einer nichtlinearen Transformation der 
einen Bildpunkt umgebenden Bilddaten (20,21) entspricht . 

3. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet , 

dass die Signaturtabellen (22,23) in Form einer Hash- 
Tabelle organisiert werden . 

4. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass vor dem Ablegen eines Signaturstrings (27) mit des- 
sen zugeordneten Pixelkoordinaten in einer Signaturtabel- 
le (22, 23) , diese dahingehend untersucht wird, ob be- 
reits ein dem Signaturstring entsprechender Signatur- 
string (27) in der Tabelle abgelegt ist, 

worauf in den Fallen, in welchen ein entsprechender Sig- 
naturstring (2 7) bereits abgelegt wurde, der neuerliche 
Signaturstring nicht abgelegt wird, sondern nur dessen 
zugeordnete Pixelkoordinaten als zusatzliche Pixelkoordi- 
naten zu dem bereits vorhanden Tabelleneintrag des ent- 
sprechenden Signaturstrings hinzugefugt werden. 

» 

5. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Verfahren auf einen Speicher zugreift, in wel- 
chem insbesondere applikations-spezif ische Signatur- 
strings abgelegt sind, bei deren Auftreten davon ausge- 
gangen werden kann, dass das einem solchen Signatur- 
string (2 7) zugeordnete Pixel bei der Korrespondenzanaly- 
se nicht beachtet werden braucht, 
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und dass vor dem Ablegen eines Signaturstrings (27) mit 
dessen zugeordneten Pixelkoordinaten in einer Signaturta- 
belle (22,23), dieser dahingehend ubeirpruft wird, ob er 
mit einem in diesem Speicher abgelegten Signatur string ii- 
bereinstimmt , 

worauf in diesem Fall, der Signaturstring (27) und seine 

■ 

zugehorigen Pixelkoordinaten nicht in der Signaturtabelle 
(22, 23) abgelegt werden. 

6. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet , 

dass vor der Generierung der Korrespondenzhypothesen die 
Eintrage der Signaturstrings (27) in den Signaturtabel- 
len (22, 23) daraufhin uberpruft werden, ob ein Signatur- 
string in einer der Signaturtabellen (22, 23) haufig vor- 
kommt , 

worauf in diesem Fall, der betreffende Signatur- 
string (27) nicht zur Generierung einer Korrespondenz- 
hypothese herangezogen wird. 

7. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass vor der Generierung der Korrespondenzhypothese aus 
in beiden Signaturtabellen (22, 23) ubereinstimmend vor- 
kommenden Signaturstrings zusatzliche die Bilddaten 
und/oder die Bildauf nahme situation betreffende Parameter 
Beachtetf Werden, 

und dass nur dann, wenn diese zusatzlich zu beachtenden 
Parameter der beiden' einzelnen bei der Korrespondenzana- 
lyse herangezogenen Bildpunkten nicht uber ein bestimmtes 
Mafi voneinander abweichen, eine Korrespondenzhypothese 
generiert wird. 
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8 . Verf ahren nach Anspruch 7 , 
dadurch gekennzeichnet , 

dass einer der zusatzlich zu beachtenden Parameter die 
Helligkeit des einzelnen Bildpunktes beschreibt . 

9 . Verf ahren nach Anspruch 7 oder 8 , 
dadurch gekennzeichnet, 

■ dass einer der zusatzlich zu beachtenden Parameter die 
Pixelkoordinaten in Bezug auf den Signaturstring (27) u- 

r 

bereinstimmenden Bildpunkte beschreibt. 

10. Verf ahren nach Anspruch 9, 
dadurch gekennzeichnet , 

dass hierbei zusatzlich beachtet wird, ob sich die 
betreffenden Bildpunkte im Zentrum oder im Randbereich 
des durch die Bilddaten i (2 0) oder j (21) beschriebenen 
Bildes befinden, 

Wobei bei Bilddaten, welche sich im Randbereich des Bild- 
datensatzes (20,21) befinden grofiere Abweichungen bei den 
Pixelkoordinaten zulassig sind. 

* 

11. Vorrichtung zur Korrespondenzanalyse in Bilddatensat zen 
urn irmerhalb von zwei Bilddatensat zen i und j miteinander 
korrespondierende Bildpunkte (Pixel) UiVi und ujvj zu i- 

. . dentifi-zieren,. 

wobei die Vorrichtung einen Signaturoperator umfasst, 
mittels welchem sowohl der Bilddatensat z i (2 0) als auch 
der Bilddatensatz j (21) derart transf ormiert werden, 
dass fur jeden der Pixel u-j_vi und ujVj ein Signaturstring 
(27) berechnet wird, 
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15 



20 



25 



wobei die Einheit des weiteren eine Speichereinrichtung 
beinhaltet, welche so ausgestaltet ist, dass sie physika- 
lisch oder virtuell in zwei Speicherbereiche gegliedert 
ist, welche jeweils eine den Bilddatensatzen i und j zu- 
geordnete Signaturtabellen (22, 23) umfassen, in welche 
die mittels dem Signaturoperator ermittelten Signatur- 
st rings (27) mit ihren zugehorigen Pixelkoordinaten abge- 
legt werden konnen, 

und wobei die Vorrichtung dieser Speichereinrichtung 
nachgeschaltet eine Einheit zur Generierung von den Sig- 
naturst rings (27) zugeordneten Korrespondenzhypothe- 
sen (25) umfasst, welche mit einem Speicher (26) zur 
Speicherung dieser Korrespondenzhypothesen in Form einer 
Hypothesenliste yersehen ist . 



12. Vorrichtung nach Anspruch 11, 
dadurch gekennzeichnet , 

dass der Signaturoperator mit einer Speichereinheit in 
Verbindung steht, in welcher insbesondere applikations- 
spezifische Signaturstrings abgelegt sind, bei deren Auf 
treten davon ausgegangen werden kann, dass das einem sol 
chen Signaturstring (27) zugeordnete Pixel bei der Kor- 
respondenzanalyse nicht beachtet werden braucht, 

wobei bei vorliegen eines solchen Signaturstrings (27) 
eine Ubertragung des Signaturstrings in eine der Signa- 
turtabellen (2 7) verhindert wird. 



30 



13 . Verwendung des Verf ahrens oder der Vorrichtung nach einem 
der vorhergehend Anspriiche zur Korrespondenzanalyse bei 
der Berechnung des Optischen Flusses innerhalb einer Se- 
quenz von Kamerabilddaten. 
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14 . Verwendung des Verf ahrens oder der Vorrichtung nach einem 
der vorhergehend Anspruche zur Korrespondenzanalyse in- 
nerhalb eines Bildpaares bei der Stereobildverarbeitung. 



1/2 



10a 



124 


74 


32 


124* 


1-64-1 


.18 


157 


116 


84 



10b 



2 


1 


0 


2 




0 


2 


2 


2 



27 



-> Signaturstring: 2100 2222 



a) 



b) 



Figur 1 
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Figur 2 
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DaimlerChrysler AG Finkele 

Zusammenf as sung 
Verfahren zur Korrespondenzanalyse in Bilddatensatzen 

■ 

Bei der Verarbeitung von Bilddaten bewegter Szenarien, insbe- 
sondere urn darin befindliche Objekte zu erkennen und zu ver- 
5 folgen (Tracking) ist es notwendig, in den einzelnen zeitlich 
aufeinanderfolgenden Bilddatensatze miteinander korrespondie- 
rende Bildpunkte bzw. Bildbereiche zu identif izieren . Gleich- 
sam ist es auch bei der Stereobildverarbeitung notwendig in 
zwei im wesentlichen zum selben Zeitpunkt aus unterschiedli- 
10 chen Blickwinkeln auf genommenen Bildern diejenigen Datenbe- 
reiche zu identif izieren, welche miteinander korrespondieren. 

Bei dem neuartigen Verfahren zur Korrespondenzanalyse in 
Bilddatensatzen wird in einem ersten Schritt die zu verglei- 
chenden Bilddatensatze mit einem Signaturoperator derart 

15 transformiert, dass fur jedes Pixel ein Signaturstring be- 

rechnet und in einer den einzelnen Bilddatensatzen zugeordne- 
ten Signaturtabelle gemeinsam mit den Pixelkoordinaten abge- 
legt wird. Nachfolgend werden fur diejenigen Signaturst rings , 
welche in beiden Tabellen aufzufinden sind, eine Korrespon- 

2 0 denzhypothese generiert und in einer Hypothesenliste zur Wei- 
terverarbeitung gespeichert wird. Durch die Erfindung wird in 
vorteilhaf ter Weise eine in Bezug auf die Rechenzeit sehr ef- 
fiziente Korrespondenzanalyse ermoglicht, welche auch in der 
Lage ist Bildpaare auch dann noch schnell zu verarbeiten, 

25 wenn sich einzelne Objekte in den beiden Bilddatensatzen an 
stark unterschiedlichen Stellen abbilden. 



